Sentimentator : Gamifying Fine-grained Sentiment Annotation

Peer reviewe

XED : A Multilingual Dataset for Sentiment Analysis and Emotion Detection

We introduce XED, a multilingual fine-grained human-annotated emotion dataset. The dataset consists of human-annotated Finnish (25k) and English sentences (30k), as well as projected annotations for 43 additional languages, providing new resources to many low-resource languages. We use Plutchik’s core emotions to annotate the dataset with the addition of neutral. The dataset is carefully evaluated using language-specific BERT to show that XED performs on par with other similar datasets and is therefore a useful tool for sentiment analysis and emotion detection.Peer reviewe

LT@Helsinki at SemEval-2020 Task 12 : Multilingual or language-specific BERT?

This paper presents the different models submitted by the LT@Helsinki team for the SemEval2020 Shared Task 12. Our team participated in sub-tasks A and C; titled offensive language identification and offense target identification, respectively. In both cases we used the so called Bidirectional Encoder Representation from Transformer (BERT), a model pre-trained by Google and fine-tuned by us on the OLID dataset. The results show that offensive tweet classification is one of several language-based tasks where BERT can achieve state-of-the-art results.Peer reviewe

Emotion Preservation in Translation : Evaluating Datasets for Annotation Projection

Peer reviewe

Creating a Dataset for Multilingual Fine-grained Emotion-detection Using Gamification-based Annotation

This paper introduces a gamified framework for fine-grained sentiment analysis and emotion detection. We present a flexible tool, Sentimentator, that can be used for efficient annotation based on crowd sourcing and a selfperpetuating gold standard. We also present a novel dataset with multi-dimensional annotations of emotions and sentiments in movie subtitles that enables research on sentiment preservation across languages and the creation of robust multilingual emotion detection tools. The tools and datasets are public and opensource and can easily be extended and applied for various purposes.Peer reviewe

Cross-Lingual Sentiment Preservation and Transfer Learning in Binary and Multi-Class Classification

Sentimenttianalyysi (sentiment analysis) on nopeasti kehittyvä kieliteknologian ala, jonka päämääränä on automaattisesti tunnistaa luonnollisella kielellä tuotetusta tekstistä subjektiivisia piirteitä. Tyypillisesti sentimenttianalyysissa luokitellaan tekstiä binäärisesti luokkiin ‘positiivinen’ tai ‘negatiivinen’. Moniluokkainen tunneskaala saadaan kuitenkin kasvattamalla mahdollisten sentimenttiluokkien määrää, jolloin mukaan otetaan hienojakoisempia tunteita kuten ‘vihainen’, ‘iloinen’ ja ‘surullinen’. Tekstiklassifikaatiossa käytetään usein ohjattuja koneoppimismenetelmiä. Tämä edellyttää riittävää opetusaineistoa, jonka avulla klassifikaatioalgoritmi voidaan opettaa tunnistamaan tekstistä haluttuja piirteitä. Koska sentimenttianalyysiin tarvittavat opetusaineistot ovat pääosin englanninkielisiä, muunkielisiä aineistoja tuotetaan kääntämällä alkuperäinen aineisto eri kielille. On kuitenkin tärkeää arvioida käännetyn aineiston käytettävyyttä koneoppimisalgoritmien opetuksessa. Kun teksti käännetään kieleltä toiselle, tulee alkuperäisen sentimentti-informaation säilyä ennallaan, jotta tekstiä voidaan luotettavasti käyttää algoritmien opettamiseen. Mikäli sentimentti-informaatio säilyy hyvin käännetyssä tekstissä, kieltenvälisiä sentimenttiaineistoja voidaan koota siirto-oppimismenetelmillä (transfer learning) eli projisoimalla alkuperäiskielisten virkkeiden sentimenttiluokat käännetyille virkkeille. Tämä pro gradu -tutkimus arvioi, missä määrin luonnollisen kielen binäärinen ja moniluokkainen sentimentti-informaatio säilyy samana, kun teksti käännetään kieleltä toiselle. Tutkimusaineistona käytetään paralleeleja virkkeitä alkuperäiskielellä englanniksi sekä käännöksinä suomeksi, ranskaksi ja italiaksi. Sentimentti-informaation säilymistä tutkitaan annotoimalla ensin englanninkieliset virkkeet siten, että tuloksena on sekä binäärinen että moniluokkainen aineisto, jossa kullakin virkkeellä on yksi sentimenttiluokka. Tämän jälkeen kunkin käännetyn kielen paralleelit virkkeet annotoi kaksi erillistä annotoijaa, mistä saadaan vertailukohde alkuperäisille englanninkielille annotaatioille. Lisäksi tutkimus arvioi siirto-oppimismenetelmien hyödyllisyyttä tutkimalla, saavuttavatko koneoppimisalgoritmit samankaltaisia tuloksia käännetyillä aineistoilla, jotka on koottu projisoimalla alkuperäisten aineistojen annotaatiot käännetyille virkkeille, kuin alkuperäisillä englanninkielisillä aineistoilla. Sentimenttiklassifikaatiossa käytetään naiivi Bayes (naïve Bayes), maksimientropia (maximum entropy), monikerroksinen perseptroni (multilayer perceptron) ja tukivektorikone (support vector machine) -klassifikaattoreita. Tutkimustulokset osoittavat, että luonnollisen kielen tekstejä käännettäessä sentimentti-informaatio säilyy hyvin. Tämän perusteella voidaan päätellä, että kieltenvälinen siirto-oppiminen on tarpeeksi luotettava tapa opettaa sentimenttianalyysialgoritmeja. Klassifikaatiotulokset puolestaan osoittavat, että siirto-oppimismenetelmällä opetetut algoritmit saavuttavat luotettavia tuloksia binäärisessä klassifikaatiossa, kun taas vakaa moniluokkainen klassifikaatio vaatii suurempaa aineistoa

A COVID-19 news coverage mood map of Europe

We present a COVID-19 news dashboard which visualizes sentiment in pandemic news coverage in different languages across Europe. The dashboard shows analyses for positive/neutral/negative sentiment and moral sentiment for news articles across countries and languages. First we extract news articles from news-crawl. Then we use a pre-trained multilingual BERT model for sentiment analysis of news article headlines and a dictionary and word vectors -based method for moral sentiment analysis of news articles. The resulting dashboard gives a unified overview of news events on COVID-19 news overall sentiment, and the region and language of publication from the period starting from the beginning of January 2020 to the end of January 2021.nonPeerReviewe

Alle kouluikäisten lasten ensiapua vaativat tilanteet: opetustapahtuma PerhePesän asiakkaille ja henkilökunnalle

Suuri osa ensiapua vaativista tilanteista tapahtuu kotona. Lasten kohdalla yleisimpiä sairaalahoitoa vaativia tapaturmia ovat kaatumiset, putoamiset ja liikuntavammat. Moni lapsen vanhempi ei kuitenkaan tiedä ensiapumenetelmää näihin yleisimpiin kotona tapahtuviin tapaturmiin. Opinnäytetyömme tuloksena syntyneen opetustapahtuman ja koostetun materiaalin tilaajana oli Mannerheimin lastensuojeluliiton PerhePesä. Kohderyhmänä olivat PerhePesän asiakas- ja henkilökunta. Opetustapahtuma koostui pienestä teoriaosuudesta, minkä jälkeen kukin vanhempi sai käytännössä kokeilla ensiavun antoa meidän tarjoamia resursseja hyödyntäen. Käytimme luotettavia ja ajankohtaisia lähteitä opetustuokion sekä koostetun materiaalin suunnittelussa. Opetustapahtuman arviointi perustui opinnäytetyön tarkoitukseen ja tavoitteeseen. Opinnäytetyömme tarkoituksena oli suunnitella, toteuttaa ja arvioida toiminnallinen päivä, johon sisältyi opetustapahtuma. Tavoitteena oli tarjota laadukas opetustapahtuma alle kouluikäisten lasten vanhemmille sekä koostettu materiaali PerhePesän henkilökunnalle. Tavoitteena oli, että opetustapahtuman myötä vanhemmat osaavat arvioida lasten tapaturmien vakavuutta ja mahdollisen jatkohoidon tarvetta. Tavoitteena oli myös kehittää ja vahvistaa omaa ammatillista osaamistamme sekä teoreettisesti että käytännössä. Keräsimme palautetta opetustapahtumasta koostetusta materiaalistamme toimeksiantajamme yhdyshenkilöltä ja opetustapahtumaan osallistuneilta. Opetustapahtumaa suunnitellessa kysyimme neuvoja myös opettajalta, jotta saisimme opetustapahtumasta mahdollisimman toimivan kokonaisuuden. Tämän avulla kykenimme arviomaan opetustapahtumaa monesta eri näkökulmasta. Toteutimme päivän sisällön toimeksiantajan toiveiden pohjalta sekä otimme päivän toteutuksessa myös opettajien kommentit huomioon. Palautteiden perusteella pystyimme päättelemään, että suunniteltuihin tavoitteisiin päästiin. Vanhemmat kokivat osaavansa toimia hätätilanteen sattuessa. Päivän sisältö oli suurimmalle osalle osallistujalle aiemmasta tuttua, joten asiat olivat lähinnä kertausta